【コストに注意】CloudWatch Logs Insightsのスキャン容量はCloudWatch Logsに取り込まれる圧縮前のデータ量です

公式ドキュメントに明確な記載がなかったため書きました。

#AWS

#CloudWatch Logs

#CloudWatch Logs Insights

おつまみ

2024.08.19

こんにちは！AWS事業本部のおつまみです。

みなさん、 CloudWatch Logs Insights普段活用していますか？私は活用しています。

CloudWatch Logs Insightsは、CloudWatch Logs 内にあるログデータを効率的に分析し、有用な洞察を得るための強力なツールです。

大変便利な機能ですが、コスト面で注意すべきポイントがあります。
そこで今回は実際に起きてしまった具体的な事象を交えて、CloudWatch Logs Insightsを使用する際に知っておくべき重要な点についてご紹介をします。

いきなり結論

CloudWatch Logs Insightsは スキャンされる容量 あたりのコストがかかる。
スキャンされるデータ容量はCloudWatch Logsに保管される 圧縮前 のデータ容量である。
CloudWatch Logs に保存されるデータは元のデータの 15% 程度 まで自動圧縮されるようだが、データ形式によっては さらに圧縮される 可能性がある。
CloudWatch Logs Insightsでクエリを投げる場合には、スキャンする際のデータ量が削減されるようクエリを最適化しよう。

今回起きてしまった事象について

事象

今回とある環境でCloudWatch Logsのコストが急激に増加していました。（調査時点で約4.7TBのログを取り込んでおり、$3,000強のコストが発生していました。）

原因調査①

まずどのログが原因かを調査するため、Cloudwatch Logsへのログ取り込み量メトリクスincomingBiytesを確認しました。すると、Auroraのpostgresqlログの容量が肥大化していることが判明しました。

そして、postgresqlログをCloudWatch Logsで確認したところ主に監査ログやスロークエリログなどが出力されていることが確認できました。（AUDITで始まるログが監査ログ、durationで始まるログがスロークエリログです。）

原因調査②

ログ容量削減するために、postgresqlログに対して監査ログやスロークエリログがどのくらいの割合を占めているか確認することにしました。

そこでCloudWatch Logs Insights でスロークエリログのみの容量を把握しようと、8/1~8/13の期間で以下のクエリを実行しました。

fields @timestamp, @message
| filter @message like /duration:/
| stats sum(strlen(@message)) as total_size

すると、CloudWatch Logs のデータ保管容量は約200GBだったのに対し、4.2TBのデータがスキャンされてしまいました。

CloudWatch Logs のデータ保管容量（約200GB）

CloudWatch Logs Insights でスキャンしたデータ容量（4.2TB）

その結果、たった1回のクエリで約＄30のコストが発生してしまいました。。。

AWS_アカウント詳細.png

判明したこと

今回起きてしまった事象によって、以下の2点が判明しました。

CloudWatch Logs Insightsでスキャンされるデータ容量はCloudWatch Logsに保管される 圧縮前 のデータ容量である。
CloudWatch Logs に保存されるデータは元のデータの 15% 程度 まで自動圧縮されるようだが、データ形式によっては さらに圧縮される 可能性がある。

内容を掘り下げたいと思います。

CloudWatch Logs Insightsのコストについて

CloudWatch Logs Insightsのコストはスキャンされたデータ容量に対して、コストが発生します。

分析 (Logs Insights のクエリ) スキャンしたデータ 1 GB あたり USD 0.0076（東京リージョン）

引用：料金 - Amazon CloudWatch | AWS

ここで注目すべき重要なポイントがあります。

今回の事象で判明したようにCloudWatch Logs Insightsでスキャンされるデータ量は、CloudWatch Logsに取り込まれる　圧縮前　の容量であるということです。つまり、実際にCloudWatch Logsに保存されているデータ量よりも多くのデータがスキャンの対象となり、それに応じてコストが発生します。